Tiền thân của Bệnh viện Grall là Bệnh viện Quân sự (tiếng Pháp: Hôpital militaire) của Quân đội Pháp, thành lập từ năm 1862 khi họ mới xâm chiếm Nam Kỳ. Cơ sở này vào cuối thập niên 1870 chuyển về số 14 rue Lagrandière,[1] tức địa điểm hiện nay. Tại cơ sở này nhà bác học Albert Calmette cho thành lập Viện Pasteur (Pasteur-Institut) đầu tiên ở ngoài nước Pháp năm 1891.[2]

Cấu trúc các tòa nhà trong khuôn viên đều là sườn sắt tiền chế đem ráp lại[3] trên nền bằng đá. Mọi vật liệu mang từ Pháp sang.[2]

Từ năm 1905 trở đi cơ sở y tế này dưới sự điều hành của bác sĩ Charles Grall, mở cửa chữa trị cho mọi thành phần, quân sự cũng như dân sự kể cả dân bản xứ.[4] Năm 1925 Bệnh viện Quân sự chính thức sang tên "Bệnh viện Grall" để vinh danh Giám đốc Y tế Nam Kỳ, bác sĩ Charles Grall.[2] Tháng Tư năm 1945 thời Đệ nhị Thế chiến bệnh viện bị trúng bom, phá sập mé phía bắc, tiêu hủy các phòng thí nghiệm.[5]

Năm 1956 dưới chính thể Việt Nam Cộng hòa, chính phủ Pháp ký biên bản tiếp tục điều hành Bệnh viện Grall,[2] thuộc Bộ Ngoại giao Pháp. Bệnh viện có 560 giường.[4]

Ngày 3 Tháng 11, 1966 Bệnh viện trúng pháo của Việt Cộng.[6] Vào cuối Tháng Tư, 1975 trong đợt tấn công cuối cùng vào Sài Gòn, Bệnh viện Grall bị tràn ngập, bệnh nhân trọng thương vì chiến trận lên đến 222 người chỉ trong ba ngày cuối cùng.[7]

Năm 1976 Bệnh viện Grall chuyển giao cho nhà chức trách Cộng hòa Xã hội Chủ nghĩa Việt Nam và người Pháp rút đi. Năm 1978 Bệnh viện Grall đổi tên thành Bệnh viện Nhi đồng 2, chấm dứt thời kỳ bệnh viện tổng quát và trở thành bệnh viện chuyên môn nhi khoa.[2]